package com.kkb.hbase.mr.demo2UDInputFormat;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.BytesWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.SequenceFileOutputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

public class UDInputFormatMain extends Configured implements Tool {

    @Override
    public int run(String[] args) throws Exception {
        //定义MapReduce的8个步骤， 然后通过job进行组装
        //获取job对象
        Configuration conf = super.getConf();
        Job job = Job.getInstance(conf, "UDInputFormat-mergeSmallFile");

        //本地可以不设(设置程序运行的主类)
        job.setJarByClass(UDInputFormatMain.class);

        //通过job组装MapReduce的8个步骤
        //1.读取文件，解析成key,value对
        job.setInputFormatClass(MyInputFormat.class); //设置读取输入文件的格式
        TextInputFormat.addInputPath(job,new Path("file:///E:\\课程\\002-mr\\3、数据资料\\2、自定义InputFormat实现小文件合并\\文件数据"));//设置读取文件路径,读取文件，解析成key，value对

        //2.自定义map逻辑，接收k1,v1装换成k2,v2
        job.setMapperClass(MyMapper.class);
        //设置key,value对的属性 - - map阶段输出的key类型 k2,v2
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(BytesWritable.class);

        /**
         * 3.分区
         * 4.排序
         * 5.规约
         * 6.分组
         */

        /**
         * 没有 reduce 但是要设置reduce输出的k3，v3类型
         */
        //7.自定义reduce逻辑
        //job.setReducerClass(HxkReducer.class);
        //k3,v3的类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(BytesWritable.class);
        //8.输出最终结果
        job.setOutputFormatClass(SequenceFileOutputFormat.class);//设置输出文件格式为二进制格式文件
        //注意：输出路径 要不存在 否则报错
        TextOutputFormat.setOutputPath(job,new Path("file:///E:\\课程\\002-mr\\3、数据资料\\2、自定义InputFormat实现小文件合并\\out_hxk"));

        //提交整个job任务 等整个 任务结束之后 如果任务执行成功，返回true
        boolean b = job.waitForCompletion(true);
        //如果true 返回 0 表示整个任务执行成功
        return b?0:1;
    }



    public static void main(String[] args) throws Exception {
        int run = ToolRunner.run(new Configuration(), new UDInputFormatMain(), args);
        System.exit(run);
    }



}
